Vezető: Dr. Zsedrovits Tamás
Tagok: Bor Gergő Tétény, Daubner Lóránt, Dr. Nawar Al-Hemeary, Ujhelyi Dániel, Zsumbera Olivér
Kapcsolat: zsedrovits.tamas@itk.ppke.hu
A UAV Vision Lab a pilóta nélküli repülőgépek és a gépi látás kutatásával foglalkozik. Egyik fő kérdésünk, hogy az adott feladatok számításait hogyan oldhatjuk meg a lehető legkisebb fogyasztással, kisméretű és elérhető árú eszközökön. Fő témánk a kamera alapú ütközéselkerülés: egy vagy több kamera képén detektálunk és követünk távoli repülőgépeket. A cél a minél jobb detekció és követés úgy, hogy a rendszer fogyasztása és mérete kicsi maradjon, hiszen a számítást valós időben, a fedélzeten kell elvégezni.
Másik területünk a repülők ergonomikus irányítása: természetesebb, gyorsabban tanulható vezetési módszereket fejlesztünk. A harmadik témakör a beltéri alkalmazások. Itt azt vizsgáljuk, mely feladatok oldhatók meg külső referencia nélkül, csak fedélzeti szenzorokkal (kamera, IMU, LiDAR, távolságmérő stb.). Például 3D barlangtérképezésnél kamera, IMU és LiDAR együttesével pontosabb térképeket készítünk a járatokról, segítve a feltárást és a barlangászokat. Hallgatóink emellett ütközéselkerülő szimulátoron, fotogrammetriai 3D épületmodellezésen, drónrajjal végzett arcfelismerésen és -követésen, neuromorf ütközéselkerülésen, vizuális beltéri navigáción és videóannotációs adatbázison dolgoznak.
Drónok autonóm akadályelkerülésére fejlesztett biológiailag motivált látórendszer kísérlet. A képen látható, amint a drón a paravánok közötti szabad útvonalon repül át egy összetett környezetben. A rendszer egy emlősök retinamodelljén alapuló előfeldolgozásból és egy U-Net-ből áll a látási feladathoz. A videót a DJI Tello drón veszi fel, és továbbítja a laptopra, amin fut a kommunikációt és a drón vezérlését végző ROS Ubuntu alapú program, valamint a laptop dedikált GPU-ján a neurális hálózat Pytorch implementációja.
Jövőbeli kutatási irányok, együttműködési lehetőségek
A UAV Vision Labor drónos gépi látás, fedélzeti MI és 3D térképezés témákban kapcsolódik pályázati együttműködésekhez, elsősorban erőforrás-korlátos fedélzeti feldolgozás, multimodális szenzoradat-elemzés, open set recognition és valós drónos validáció területén. A kutatócsoport közös K+F fejlesztésekhez, demonstrátorokhoz és hallgatói kutatási témákhoz biztosít szakmai hátteret.
